대규모 언어 모델은 언어를 유창하게 생성할 수 있지만, 유창함은 사실적 신뢰성과는 다릅니다대규모 언어 모델의 근본적인 한계는 매개변수 기억—훈련이 끝난 순간의 시간에 정지된 지식을 의미하며, 이는 훈련 종료 시점으로 알려져 있습니다.
왜 대규모 언어 모델은 고립 상태에서 실패하는가
RAG는 많은 실용적인 질문이 다음 정보에 의존하기 때문에 존재합니다: 비공개, 최근, 버전 관리된, 도메인 특화된또는 감사 가능한외부 지식 없이는 모델이 다음 문제를 겪게 됩니다:
- 시간 제한: 훈련 이후의 사건을 알 수 없는 능력 부족
- 접근 제한: '다크 데이터'(기업 내부 문서 등)에 대한 접근 불가능
- 추적 가능성 제한: 전문적 책임에 대한 감사 가능한 추적 기록 부족
오픈북 파라다임
비용이 큰 재학습을 통해 모델이 모든 것을 '기억하도록' 강요하는 대신, 외부 코퍼스에서 특정 증거를 먼저 검색하는 구조로 전환하여, 대규모 언어 모델이 그 증거를 바탕으로 답변할 수 있게 합니다. 이는 증거를 바탕으로 한 확신 그 증거 없이만 확신하는 것보다 더 나은 결과를 제공합니다.